Automatic Prompt Engineer (APE)
目的のタスクに対してよい出力を得られるプロンプトがよいプロンプト、と考えられる
しかし、人間は望ましい出力を引き出すためには様々なプロンプトを試してみる必要がある。
つまり、プロンプトを通じたLLMのふるまいはブラックボックス。
効果的なプロンプトの作成と検証には、まだ多くの人間の労力が必要です。
これらの課題を解決するため、プロンプトを自動生成し選択するアルゴリズムを提案した。
これを、自動プロンプトエンジニア(Automatic Prompt Engineer (APE))と呼ぶ
このGifがわかりやすい
動画もある
Let's work this out in a step by step way to be sure we have the right answer
正しい答えを得るために、ステップバイステップで考えてみましょう。
とすると精度がいい
QAでも、人間より良い回答結果であった。
https://scrapbox.io/files/657e51ea6795d700249ce92f.png